#GUI Grounding

5 篇

NorthCUA Technical Report: Turbocharging Computer-Use Agents through Experience at Scale

NorthCUA：通过大规模经验飞轮加速计算机使用代理

🧭 Agent 经验飞轮与强化学习

Shanghai Qiji Zhifeng Co., Ltd.

用经验飞轮、分级学习与桌面-网页联合强化学习，训练出开源SOTA的计算机使用代理模型族

📌 工作参考价值（4 点）

借鉴经验飞轮机制：在电商/搜索推荐 agent 中，将用户交互轨迹作为经验，通过结果校验（转化、点击、任务完成）筛选高质量轨迹，持续扩充训练数据，形成数据闭环。
对未成功任务采用递归自改进：保存已验证的里程碑，让后续尝试在已有进展上继续。适合长程多轮推荐/导购场景，避免每次从零开始，提升任务完成率。
分级学习策略：先 mid-training 注入 grounding 数据（如商品/页面结构化信息）建立基础能力，再 long-horizon SFT 学习完整任务轨迹，最后用在线 RL 在真实环境中闭环优化。可复用为：领域继续预训练 → 人工标注 SFT → 在线策略迭代。
Ultrafast 的思路：直接动作选择与开放生成结合，在低延迟场景（实时推荐、搜索响应）可用混合解码策略，牺牲少量质量换取显著响应速度。

Agent | 2026-10-31 | HF Daily | score 7/10

PreView：通过预处理视图和提示增强 GUI 定位

🧭 GUI 视觉定位 · 输入预处理增强冻结模型

Independent Researcher

提出轻量辅助预处理器 PreView，为冻结 GUI 定位模型生成局部放大视图与候选特定视觉/文本提示，无需微调提升定位准确率。

📌 工作参考价值（4 点）

在电商/广告领域的 Agent 自动化（如 RPA、后台操作、广告审核）中，面对高分辨率复杂界面，可借鉴 PreView 的轻量辅助模型预测候选中心、裁剪放大局部视图，显著降低 VLM 输入分辨率和 token 成本，同时提升小控件点击准确率。
候选特定 cue 设计可直接复用：用红圈标记 + 位置提示（如“在左上角附近”）作为视觉 cue，结合候选身份/功能的简短文本描述（如“这是一个‘立即购买’按钮”），消除多控件密集布局下的歧义，这对商品详情页、广告落地页元素定位与合规检测尤其有用。
冻结主干模型、仅训练轻量预处理模块的范式适合业务快速迭代：无需重训或微调现有 VLM/grounding 模型，可快速适配不同界面风格和业务场景；中心细化机制可借鉴为 coarse-to-fine 定位策略。
注意视觉输入预算管理：论文分析了视觉输入 budgets，启示在部署时可根据目标控件数量动态调整裁剪视图数量与分辨率，平衡准确率与推理成本。

Multimodal | 2026-10-23 | HF Daily | score 6/10

一次前向胜过两次前向：InnerZoom实现准确高效的GUI定位

🧭 单次前向内部缩放引导解码提升GUI定位

Tongyi - MAI

单次前向内部缩放桥接跨层证据，超越需两次前向的ZoomIn，同时降延迟降计算量

📌 工作参考价值（4 点）

构建电商自动操作Agent时，可直接用InnerZoom替代ZoomIn，只需一次前向即可获得高精度UI元素定位，端到端延迟降低30%+，适合在线或低资源环境。
该方法的核心思想“跨层证据桥接”可迁移到推荐系统的生成式推荐中：将中间层强语义特征显式保留并注入后续解码步骤，提升生成式ID或序列的准确率。
实现上，InnerZoom无需修改基础MLLM架构，仅需设计轻量证据提取与精炼模块，训练成本低，可在现有视觉-语言模型上微调即用，适合需要快速落地GUI自动化场景。
对于多模态商品图片理解任务，若需定位商品区域或关键属性位置，可借鉴内部缩放思路，将区域感知特征跨层传递，增强定位或属性预测的精度。

Agent | 2026-06-28 | HF Daily | score 6/10

VISTA：面向GUI视觉定位的视角一致自验证训练框架

🧭 GUI智能体视觉定位训练方法

Zhejiang University · Ant Group

通过多视角组构建与自验证锚点，缓解GRPO在GUI定位中组内无相对优势的问题

📌 工作参考价值（4 点）

GRPO组构建策略：将单一实例的多视角裁剪作为一个组，强制模型学习视角不变性。类似思路可用于电商推荐系统，将同一商品的不同视图（如多角度图片、标题变体）构成对比组，提高模型对输入扰动的鲁棒性。
自验证锚点机制：在RL训练中动态加入oracle答案作为正则化项，仅在模型已产生高分rollout时激活，既避免策略坍塌为简单模仿，又稳定了短序列生成。该方法可迁移到其他基于RL的文本生成任务（如推荐理由生成、对话式推荐），以提升训练稳定性。
目标保持裁剪增强：通过裁剪确保目标区域可见且坐标精确映射，实现了语义等价但几何差异的输入增强。在电商场景中，可以类似地构造商品图像局部区域的正样本对，用于训练商品定位或热区预测模型。
鲁棒性提升思路：VISTA显著降低了预测翻转率（prediction flip rate），表明模型对输入变化更稳定。对于需要高可靠性的Agent系统（如自动化下单、客服），这种训练范式能减少因微小界面变化导致的误操作。

Agent | 2026-06-11 | HF Daily | score 7/10

超越文本的智能体技能：引入视觉先验实现可复用多模态技能

🧭 Agent 多模态视觉技能复用 ★ 深度解读

Peking University · University of Wisconsin · MIT-IBM Watson AI Lab

指出纯文本技能在视觉任务中存在空间信息瓶颈，提出结合文本规则与视觉先验的可复用多模态技能范式 VISUALSKILL 及自动生成流水线 AutoVisualSkill。

📌 工作参考价值（4 点）

GUI 自动化与电商平台操作：将常用控件的空间布局、点击区域等制作为静态视觉先验（如按钮模板、热区图），与文本规则绑定，可显著提升 Agent 在网页/App 上的定位精度，类似思路可用于商品页面自动化测试、数据采集。
密集计数与货架管理：在库存盘点、货架商品计数等场景，采用动态视觉锚点将已计数对象做可视化标记并反馈给模型，形成外部空间工作记忆，有效减少重复计和漏计。
可复用技能库构建：借鉴 VISUALSKILL 的分离式设计，将业务规则（文本）与视觉参考（截图、布局原型）打包为可检索、可组合的技能单元，降低对新模型的尺寸敏感度，方便技能跨任务迁移。
自动技能生成流水线：AutoVisualSkill 的诊断门控和双轨生成方法可用于自动判断任务是否需要视觉支撑，并将少量示例转化为通用视觉协议，适合大规模构建面向电商运营、广告设计等视觉密集型任务的 Agent 技能库。

Agent | 2026-05-30 | HF Daily | score 8/10